Anh ruột ông là Phan Đình Đỗ, sinh năm 1905, là thú y Đại học sỹ Đông Dương (tức là bác sĩ thú y ngày nay) là Viện trưởng Viện chăn nuôi đầu tiên (thời kỳ 1952-1954), Phó Viện trưởng kiêm Trưởng phòng Chăn nuôi -Thú y - Viện Khảo cứu Nông Lâm (1955-1957), Viện trưởng Viện Khảo cứu Chăn nuôi (1957-1959)

Ông là anh ruột của Thượng tướng Đinh Đức Thiện (Phan Đình Dinh) và của Đại tướng Mai Chí Thọ (Phan Đình Đống).

Con trai của ông là Lê Nam Thắng, Nguyên Thứ trưởng Bộ Thông tin và Truyền thông.

Lê Nam Thắng là con trai của ông Lê Đức Thọ và bà Nguyễn Thị Chiếu, tức Tám Chiếu, người Nam Bộ. Với người vợ trước, quê Hải Phòng, ông Lê Đức Thọ có một người con trai tên là Phan Đình Dũng, đã qua đời.